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(57) Abstract 

A process is disdoaed for observing or monitoring an area 
In ^Moe. Im^^s of jthe area (1) to be observed/nonitoied are 
taken by means of at least one camen (2), the oooverted image 
infomiatioa is sem to a oooboI com pulei (3), the cootnd conqniter 
(3) cb e cfc i tfie iinngBS ton changes in die obseived area (1). the main 
direction and/or speed of optically peioepcible dumges (movemeois) 
in the dbsemd area are analysed by analysis of die optical flow, 
die analysis result is convcfted into cuuuol instnictions seat to a 
controller (4) tiiat mecfaanjcaHy moves die camen, and if required 
the position and/or size of the image section tint may be taken by 
the camera is modified. Also disclosed is an interactive survdUanoe 
system widi a oontrd c ompu t w r (3) o o oa ected to or integrated fatto a 
camen (2) or faito one among several cameras. TTie contrcri co mpute r 

(3) receives and processes the data recoided by the camcn(s) and 
sends control signals to a zoom lens (5). A mechanical oontroUer 

(4) reacts to impulses from tiie control com pu t er (3) and modifies 
die recording section Of tiie area (1) to be observed or the size of die 
image section (5). A device reacts to signals from the control co mpu t er 




(3) and opens a nonndly dosed passage. 



(57) Zusammenfassiing 



Die Erfindung bctrim etn Vcrtahren aim Beobadtten odcr Obciwachcn cincs rtumlichcn Botiches, umfossend das Aufoefamen von 
Bildein aus dcm zu beobachtenden^benvacheoden Bereidi (1) mit Hilfc mindestens cincr Kamera (2), das Senden der umgewandelten 
Bfldinfofmation an einen Steuenechner (3), das Ausweiten dcr Bilder im Stcuencchncr (3) in bczug auf Veiflndeningen im za tlberwadienden 
Beicid) ( 1 ), das Analytieica dtr Hanptricfatung und/oder der Gescfawindi^t von optisch wahmehmbaren Veitndeninni (Bewtsmaen) 
im zu fibcfwacfaenden Berelcfa mit HUfe der Analyse des opdscben Flusses, das Umsetzen des AmdyseetgebDisses in Stene^^le 
rum mechanisdteo Bewpgcn der Kamera an eine Steue re inricfa nm g (4), und ggf. das Verindem des von der Kamen aufoefambaren 
BUdansscfanittes in bezug aof Lege und/oder QrOBe; des weiteicn betrifft die Erfinduqg ein intenktives Obefwadmngssystem, welches 
etnen mit dna Kamera (2) oder einer voo mehieitn Kamens (2) veitnindenen odcr daiin integrieiten Steuenechner (3). der die von 
dei/den KameiaCs) aufgenommeneo Daten aufiiimmt and venibeitet und Steuerrignale an ein Zoom-Objekdv (5) senden loum, femer eine 
roecfaanlsche S teueitinrichDfflg (A), die aof impiilse des S teneiiedinen (3) hin den Aufoafameausscfanitt aus dem zu flberwacfaeoden Bereidi 
( 1 ) Oder die OtOfie des B il d au ssch ni tfes (5) vertndem iaum, sowie eine Bniiduung zum 6flhen einer flMlehemlM i»«rhw«>n^ ^• ngr 
aufweist, die auf Signale des Steuencdmen (3) leagteit 
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Interaktlves Uberwachungs system 

Die vorliegende Erfindiing betrifft ein interaktlves 
Beobachtungs- oder Uberwachungssystem sowie ein Verfahren zum 
Uberwachen bzw. Beobachten einee raumlichen Bereiches, 
insbesondere zur Personenuberwachung oder Identifiziening von 
Personen. 

Der Stand der Technik kennt Kamerasysteme fUr 
Uberwachungsaufgaben. Diese Kamerasysteme beschr&nken sich 
jedoch auf reine Visualisierungs- und (Jbertragungsaufgaben, d.h. 
die Bildinformationen aus dem zu uberwachenden Bereich werden 
zur direkten, gleichzeitigen Beobachtung an Monitore in einer 
Zentrale ubermittelt, oder sie werden auf Videoband 
abgespeichert ^ um sp&ter abgerufen werden zu k6nnen, bzw. sie 
werden nach einiger Zeit automatisch geldscht . 

Aus der £P 90 104 469.3 ist ein Verfahren zur Detektion von 
Intrudem bekannt, in welchem mit einer Videokamera und einer 
Video-Bild-Verarbeitungseinheit ein vorgegebener 
Uberwachungsbereich iiberwacht wird. Dabei werden die zu 
detektierenden Objekte durch zwei zeitlich versetzte Videobilder 
mit Hilfe eines Dif f erenzbildverf ahrens erksmnt, 

Prinzipiell werden im Dif ferenzbildverf ahren 
aufeineuiderfolgende Bilder voneinander abgezogen. Tritt eine 
hinreichend groSe Differenz zwischen zwei Bildern auf, so wird 
diese Differenz als "Bewegung" identif iziert bzw. analysiert. 

Der Einsatz solcher Verfahren hat jedoch Nachteile. So wird die 
Gesamtbewegungsrichtung im Falle komplexer Strukturen und einer 
inhomogenen Bewegungen (Beispiel: ein Arm schlenkert gegen die 
Lauf richtung) hSufig inkorrekt ermittelt, da die 
Bewegungsrichtung anhand des ermittelten Schwerpunktes des zu 
beobachtenden Objekts analysiert wird. 
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Aufgabe der vorliegenden Erfindung ist es, ein 
Uberwachungssystem bereitzustellen, in welchem die Kainera in 
Abhangigkeit vom Bildinhalt automatisch gesteuert iind 
nachgefiihrt warden kann, wobei die Gesamtbewegungsrichtung mit 
hoher Genauigkeit ermittelt wird. 

Geldst wird die vorgenannte Aufgabe mit Hilfe des Verfahrens 
gemaS Anspruch 1. 

Das interaktive Uberwachxings system ist eine "intelligente 
Kamera", die selbsttatig iind schnell auf durch eine Analyse des 
optischen Flusses gewonnene Bildsignale reagieren kann. Es 
handelt sich dabei urn eine Echtzeit-Bildauswertung einer oder 
mehrerer Kameras, die der Bewegung in einem tJberwachungsbereich 
nachgefilhrt werden kann bzw. kdnnen und/oder uber die 
Verandening des Bildausschnittes (Zoom) eine Vergrdfierung 
interessierender Bereiche bewirkt und somit z.B. die Gesichter 
von Menschen herausvergrd&ern kann. Das System eignet sich fUr 
die Uberwachung von Gebauden (Eing§ngen, Tiefgaragen) und dgl. 
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Figur la-c zeigt die Auswertung von zu verschiedenen Zeiten (t 
und t+1) auf genommenen Bildem (Fig. la) und zwar mit Hilfe der 
Analyse des optischen Flusses (Fig. lb) bzw. mit Hilfe eines 
Dif ferenzbildverfahrens (Fig. Ic) . In Figur lb erkennt man ein 
optisches Flufivektorfeld. Das Kreuz zeigt jeweils den Ursprung 
der Beweg\ingsricht\jng, L§nge xind Richtiing des jeweiligen 
Striches weisen LSnge und Richtiing des Bewegungsvektors . 

Durch 2.B. Vektorsummation aller Einzelrichtimgen kann nun auf 
eine Gesamtbewegtingsrichtung von Objekten im Bild geschlossen 
und somit die Kamera nachgefiihrt werden. Mit einem reinen 
Dif ferenzbild ist dies, wie aus Figur Ic erkennbar, nicht 
m6glich, 

Figur 2 zeigt ein System mit einer Autofocus- Kamera 2 mit einem 
Zoom-Ob jektiv 5, die auf einen Oberwachungsbereich 1 gerichtet 
ist. Die Kamera gibt die auf genommenen Bildsignale an einen 
Steuerrechner 3 weiter/ der wiederum mit einer mechcuiischen 
Steuereinrichtung 4 verbunden ist. Die Kamera kann in 
verschiedener Weise einer ggf . detektierten Bewegung nachgehen, 
beispielsweise indem sie die Bewegungsrichtung analysiert und 
dieser Richtung im zu uberwachenden Bereich folgt Oder indem sie 
eine Vergr6Serung eines interessierenden Bildausschnittes durch 
Zoomen bewirkt. 

Die Kamera kann kontinuierlich Bilder vom zu flberwachenden 
Bereich an den Steuerrechner senden. Selbstverst&idlich sind 
auch intermittierende Aufnahmen oder ein diskontinuierliches 
Aufnehmen (nur zu interessierenden, vorherbestimmten oder nicht 
vorherbestimmten Zeitabschnitten) moglich. Im Anf angszustcuid ist 
dabei das an der Kamera angeschlossene Zoom-Ob jektiv auf den 
gr6fitm6glichen Blickwinkel eingestellt. 

Die Bilder werden vom Steuerrechner (3) kontinuierlich 
ausgewertet, wobei nach Bewegung im Bild gesucht wird. 
Tritt Bewegung im Bild auf, so wird mit Hilfe einer Analyse des 
optischen Flusses die Hauptrichtung der Bewegung und deren 
Geschwindigkeit ermittelt. Durch die Vektorsummation aller 
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Einzelrichtungen wird dabei auf eine Gesamtbewegungsrichtung von 
Objekten im. Bild geschlossen, worauf die Kamera geeignet 
nachgefiihrt werden kann, so daS das bewegte Objekt immer voll im 
Bild ist. 

Der Steuerrechner ermittelt aus detn Ort der Bewegung im Bild 
Steuerbefehle, um die Kamera auf eine geeignete Vergr6Serung der 
Bewegung nachzustellen. Dabei werden die Bewegungen bezfiglich 
des "Blickwinkels" der Kamera, also ihrer Lage bzw. des 
Ausschnittes aus dem zu uberwachenden Bereich, durch eine 
mechanische Steuereinrichtung bewirkt, die ihre Inqpulse vom 
Steuerrechner erhalt. Die Impulse zum Verandem des Zoom- 
Ausschnittes der Kamera werden vom Steuerrechner an die Kamera 
zuruckgeleitet . Durch die Kombination dieser beiden 
'*intelligenten" MaSnahmen wird die Ursache der Bewegung (die 
Person, das Tier, das sich bewegt) optimal ins Bild gebracht und 
vergraSert, so daS z.B. die Bewegungen einer Person vollstSndig 
von der Kamera aufgenommen werden, solange sie sich im zu 
uberwachenden Bereich aufh&lt. 

Parallel dazu kann mit einem Mustervergleichsverf ahren, wie es 
z.B. aus dem Stand der Technik bekannt ist, im Bild nach 
gesichtsfarbigen Objekten gesucht werden und speziell ein 
Gesicht einer Person im Oberwachungsbereich herausvergr6Sert 
werden. So kann ein derartiges Mustervergleichsver£§ihren z.B. 
nach ellipsenfdrmigen Objekten bestiramter Ausrichtung, Gr6&e und 
Helligkeit suchen, die im Normalfall Gesichter darstellen. 

Vorzugsweise schaltet die Kamera in regelmaSigen AbstSnden auf 
den gunstigsten Blickwinkel \ind den ihr grSIStmoglichen 
Ausschnitt zuruck, um evtl. weitere Bewegungen im 
Uberwachiingsbereich zu detektieren. 

Die interaktive kamera kann auch mit existierenden Gesicht s- und 
Personenerkenntingssystemen gekoppelt werden, um Aussagen iiber 
die Identitat der im Oberwachungsbereich bef indlichen Person zu 
ermitteln. Hierzu wird z.B. ein Ausschnitt, der anhand der 
Bewegungsanalyse als zu einem bewegten Gesicht geh6rig erkamnt 
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wurde, herausvergroEert und dieses Teilbild einem Muster- 
vergleich zugefuhrt, der in einer Datenbank mit abgespeicherten 
Gesichtsbildern nach detn Namen der entsprechenden Person eucht. 

In einer besonderen Ausgestaltung des erf indungsgemSfien 
Verfahrens kann durch automatischen Mustervergleich des 
aufgenommenen Bewegxingsmusters mit abgespeicherten Mustem 
zwischen Personen und anderen bewegten Objekten (BleLtter im 
Wind, Tieren usw.) tinterschieden werden, urn Fehlalarme zu 
vermeiden. 

SelbstverstSndlich kann das interaktive Uberwachungssystem nicht 
nur mit einer Kamera, wie oben beschrieben, ausgestattet sein. 
Bei der Verwendung mehrerer Kameras k6nnen 

Stereobildauswertungsverfahren zur Detektion und Erkennung von 
bewegten Objekten herangezogen werden. 

Das vorstebend beschriebene interaktive System zur Beobachtxing 
bzw. tJberwachung von Bereichen wie Geb&uden (Eing&ngen, 
Tiefgaragen) oder dgl. fiihrt durch eine Echtzeit-Bildauswertung 
die Kamera oder die Kameras der Bewegung nach und vergr6Bert den. 
bewegten Gegenstand optimal heraus. Der bewegte Gegenstand, z.B. 
eine menschliche Person, kann automat isch 

klassifiziert/identifiziert werden, wobei sich Fehlalarme durch 
die Bewegung von Tieren, Blattem usw. vermeiden lassen. In der 
Kombination mit bekannten Bild- \md Signalverarbeitungsverf ahren 
eignet sich das Verfahren und das System der vorliegenden 
Erf indung zur namentlichen Identif ikation der im 
flberwachungsbereich bef indlichen Personen und dadurch auch als 
Eingangskontrollsystem fur Bereiche, die nur einer definierten 
Personengruppe zuganglich sein durfen (AnsprQche 8 und 12) . 
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Anspruche : 

1, Verfahren zum Beobachten oder Uberwachen eines raumlichen 
Bereiches, umfassend 

das Aufnehmen von Bildern aus dem zu 
beobachtenden/uberwachenden Bereich (l) mit Hilfe 
mindestens einer Kamera (2) , 

das Senden (2a) der umgewandelten Bildinf ormation (A/D) 
an einen Steuerrechner (3), 

das Auswerten der Bilder im Steuerrechner (3), urn eine 
erste Verinderxing im zu flberwachenden Bereich (1) zu 
erf assen, 

das vektorielle Ermitteln der Bewegungsrichtung der 
optisch wahrgenommenen ersten Veranderxing (Bewegtmgen) 
im zu uberwachenden Bereich mit Hilfe des optischen 
Flusses, 

das Umsetzen des Ermittlungsergebnisses in 
Steuerbefehle an eine Steuereinrichtung (4) zum 
mechanischen. Bewegen der Kamera, und ggf, 
das VerSndem (5) des von der Kamera erfaSten 
Bildausschnittes in Bezug auf GrdSe. 

2. Verfahren nach Anspruch 1, worin beim Erkennen von Bewegung 
im zu liberwachenden Bereich optische, akustische oder 
elektrische (Alarm-) Signale abgegeben werden. 

3, Verfahren nach einem der obigen Anspriiche, worin der 
Bildausschnitt mindestens einer Kamera (2) beim Erkennen von 
Bewegung durch Verandem eines Zoom-Ob jektes (5) vergrSBert 
wird. 

4. Verfahren nach einem der voranstehenden Anspriiche, wobei 
zusatzlich parallel mit einem Mustervergleichsverf ahren im 
raumlichen Bereich nach gesichtsf 6rmigen Objekten gesucht 
wird und bei Erkennen des sich bewegenden Ob jektes als 
Gesicht dieses mit Hilfe eines Zooms (5) der Kamera (2) 
vergr6Sert und/oder seiner Bewegung mit der Kamera (2) 
nachgefiihrt wird. 



wo 97/04428 



7 



PCT/DE96/01344 



5. Verfahren nach einem der yoranstehenden Anspriiche, worin in 
vorbestimmten AbstSnden die ursprungliche Lage und/oder der 
ursprungliche Bildausschnitt der Karaera (2) 
wiederhergestellt werden, urn eine zweite oder dritte 
Veranderung im rSumlichen Bereich (ebenfalls) zu erfassen. 

6. Verfahren nach einem der obigen Ansprache, worin das Bilder- 
Aufnehmen kontinuierlich oder intermittierend ist. 

7. Verfahren nach einem der voranstehenden Aneprflche, wobei dem 
Steuerrechner (3) zusStzlich Informationen iiber Gesichter 
Oder Personen aus einem Personenidentif ikationsverfahren 
zug&nglich sind. 

8. Verfahren nach Anspruch 1, worin die Bildinformationen der 
Kamera (2) rait gespeicherten Informationen zu definierten 
Personen verglichen wird und der Steuerrechner (3) mit einer 
Einrichtung verbunden ist, rait deren Hilfe beim Feststellen 
des Vorhandenseins von ausreichender Obereinstimmung 
dahingehend, dafi Personenidentitat angenommen wird, eine 
ublicherweise verschlossene Passage gedffnet werden kann. 

9- Verfahren nach einem der voranstehenden AnsprQche, wobei 
analysierte BewegxingsablSufe rait den Signalen bereits 
gespeicherter BewegungsablSufe verglichen werden und die 
Abgabe von (Alarm-) Signalen nur dann erfolgt, wenn der 
Vergleich deutliche Abweichungen ergibt. 

10. Verfahren nach Anspruch 9, wobei der Bewegungs vergleich 
kontinuierlich oder intermittierend erfolgt. 

11. Verfahren nach einem der voranstehenden Anspriiche, worin die 
auszuwertenden Bilder Stereobilder sind, die von 
insbesondere zwei Kameras gleichzeitig aufgenoramen werden, 
um der Haupt-Bewegungsrichtung (vl,v2) der ersten xind der 
zweiten "VerSnderung" jeweils eine erste (vl\v2') und eine 
zweite {yl",v2") - senkrecht zueinander orient ierte - 
Bewegeungskomponente zuzuweisen. 
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12. Verfahren nach einem der voranstehenden AnsprGche, worin 
nach zyklischem Wiederherstellen des ursprunglichen 
(grSStmoglichen) Bilsausschnitts einer der zwei Kameras (2) , 
die im Bildausschnitt zuruckgestellte Kamera eine 
"VerSnderung" als solches ermittelt und die nicht 
zuruckgestellte Kamera der Bewegung der echon erfafiten 
"VerSnderung" weiter nachgefiihrt wird. 

13. Verfahren nach einem der voranstehenden Ansprtlche, worin die 
zyklische im Bildausschnitt zurflckgestellte Kaihera nach 
vorbestimmter Zeit der Nicht -Erfassung einer weiteren 
"Veranderung" auf die von der anderen Kamera bereits erfafite 
(erste) "Veranderung" schnell zielgef<lhrt wird, um mit 
beiden Kameras mehrere Bewegungskomponenten (vl,v2; vl',v2'; 
vl",v2") Oder ein Stereobild zu erfassen. 

14. Interaktives fJberwachungssystem, umfaesend 
mindestens eine Kamera (2) mit einem Zoom-Objektiv (5), 
einen mit einer Kamera oder einer der Kameras verbundenen 
Oder darin integrierten Steuerrechner (3) , der die von 
der/den Kamera (s) aufgenommenen Daten aufnimmt und 
verarbeitet und Steuersignale an das Zoom-Objektiv sendet, 
eine mechanische Steuereinrichtung (4), die auf Impulse de;8 
Steuerrechners (3) hin den Aufnahmeausschnitt aus dem zu 
iiberwachenden Bereich (1) oder die GrSfie des 
Bildausschnittes (5) verandem kann, sowie 

eine Einrichtung zum 6ffnen einer verschlossenen Passage, 
die auf Signale des Steuerrechners (3) reagiert. 

15. Oberwachungssystem nach Anspruch 12, zusStzlich umfassend 
eine Einrichtung zum Erzeugen und Senden von akustischen, 
optischen und/oder elektrischen (Alarm-) Signalen, 

16. Uberwach\ingssy8tem nach Anspruch 14 oder 15, bei dem zwei 
Kameras (2) mit ihrem Ruheachse (100) etwa rechtwinklig zu 
einem Zentrum des rSumlichen Bereichs (1) angeordnet sind. 
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Figurib 
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Figur 1c 
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Figur 2 
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